4.1 Generelt

Plikten omfatter «KI-systemer, herunder KI-systemer for allmenne formål, som genererer syntetisk lyd-, bilde-, video- eller tekstinnhold». Med andre ord ser det ut til at denne bestemmelsen fokuserer på det som også ofte kalles «generativ AI».^{(4) Thomas Gils, «Article Commentary on Article 50 AI Act - Transparency Obligations for Providers and Deployers of Certain AI Systems». I: Ceyhun, Forgó og Valcke, The EU Artificial Intelligence (AI) Act: A Commentary, 2024 (s. 827-877), s. 791.}

«KI-systemer» er definert i AI Act artikkel 3, som omfatter

Forordningen presiserer at også KI-systemer for «allmenne formål» er omfattet. Dette er «et KI-system som er basert på en KI-modell for allmenne formål, og som kan tjene en rekke ulike formål, både ved direkte bruk og ved integrering i andre KI-systemer».^{(5)AI Act artikkel 3(66).} Henvisningen til «KI-systemer for allmenne formål» skyldes antagelig at det var mye fokus på generelle språksystemer som ChatGPT da AI Act ble utformet.^{(6)Gils (2024) s. 792.}

AI Act skiller mellom KI-systemer og KI-modeller. Systemer er innretninger som kan anvendes av en person direkte, bl.a. ved hjelp av et brukergrensesnitt. KI-modeller er ikke regulert av art. 50(2), slik at den rene algoritmen som utgjør modeller ikke underlegges merkeplikt.

4.2 Hva er «syntetisk innhold»?

«Syntetisk innhold» er ikke legaldefinert i AI Act. Trolig sikter det til at innholdet er kunstig laget eller er kunstig endret.^{(7)Paul Voigt og Nils Hullen, The EU AI Act: Answers to Frequently Asked Questions, 2024.}

Retningslinjene presiserer at «syntetisk innhold» skal forstås i tråd med praktisk og teknologisk utvikling. Tekst sikter til symbolsk innhold bestående av tegn eller tall som kan leses og tolkes semantisk av mennesker. Bilder sikter til statiske visuelle representasjoner. Lyd dekker tidsvarierte signaler som kan oppfattes gjennom hørsel, herunder tale, musikk og andre lydsignaler. Video sikter til tidsbaserte sekvenser av bilder, eventuelt synkronisert med lyd. Retningslinjene presiserer også at syntetisk multimodalt innhold, 3D-innhold, virtuell virkelighet (VR), utvidet virkelighet (AR) og blandet virkelighet faller innenfor virkeområdet til art. 50(2).

Noe av formålet med transparenskravene er å redusere nye risikoer for feilinformasjon og manipulasjon i stor skala, svindel, etterligning og forbrukerbedrag.^{(8)Fortalepunkt 133.} Det kan derfor argumenteres for at det må være en viss terskel før innhold anses som «syntetisk». Hvis en bakgrunn i et bilde er helt endret, vil det trolig være syntetisk. Men hvis KI-systemet bare har gjort farger i et bilde sterkere eller gjort bildet skarpere, kan det argumenteres for at det ikke er tale om «syntetisk innhold».^{(9)Voigt og Hullen (2024) s. 123-124.} På samme måte bør tekst anses for å være syntetisk hvis den er generert på bakgrunn av et spesifikt spørsmål eller prompt, men ikke hvis det kun er tale om beskjedne endringer ved hjelp av kunstig intelligens, som eksempelvis kontroll av grammatikk.^{(10)Voigt og Hullen (2024) s. 123-124.} Vår forståelse av Retningslinjene er at man oppfyller kravene til syntetisk innhold dersom innholdet enten fullt ut er AI-generert eller manipulert av AI utover standard redigering. Altså kan syntetisk innhold omfatte innhold som er en kombinasjon av menneskeskapt og AI-generert innhold.

Vår forståelse av Retningslinjene er at man oppfyller kravene til syntetisk innhold dersom innholdet enten fullt ut er AI-generert eller manipulert av AI utover standard redigering.

Retningslinjene presiserer videre at visse typer output faller helt utenfor virkeområdet til art. 50(2), herunder korte sekvenser av tall, symboler eller bokstaver, kildekode, output som utelukkende er ment for maskin-til-maskin-kommunikasjon uten eksponering for mennesker, samt output som kun brukes i lukkede industrielle miljøer.

Hva gjelder de ulike konkrete innholdstypene, kan ElevenLabs og Amazon Polly være systemer som genererer lydinnhold. DALL-E 3 og Midjourney er typisk systemer som generere syntetiske bilder. Sora og Kling AI er eksempler på systemer som kan fremstille videoinnhold. Tekstinnhold genereres ofte ved hjelp av CoPilot eller ChatGPT.

4.3 Omfattes også systemer som manipulerer innhold?

Ordlyden er noe uklar, siden plikten omfatter KI-systemer som «genererer» syntetisk innhold. Merkeplikten innebærer likevel å markere utdata «som kunstig generert eller manipulert», som tilsynelatende setter opp et skille mellom å generere og manipulere. Vil «generering» være begrenset til situasjoner der KI -systemet lager nytt innhold, eller inkluderer begrepet også situasjoner der KI-systemer endrer («manipulerer») eksisterende innhold? Selv om ordlyden skiller mellom å generere og manipulere, var det lovgivers ønske å fange opp begge aktiviteter.^{(11)Gils (2024) s. 792.} Vi antar derfor at både mer snever generering og manipulering omfattes av verbet «generere», slik at leverandører ikke fritas for merkeplikten under dekke av kun å drive med «manipulering».^{(12)Se også støtte for en slik konklusjon i Nicolaj Feltes, «Article 50 AI Act: Do the Transparency Provisions Improve Upon the Commission’s Draft?», 16 (2025) JIPITEC, s. 222-237, på side 227.}

5.1 Innledning

Leverandører av generative KI-systemer «skal sikre at utdataene fra KI-systemet er merket i et maskinlesbart format og identifiserbare som kunstig generert eller manipulert». Forpliktelsen begrunnes i at det blir stadig vanskeligere for mennesker å skille syntetisk innhold fra mer «autentisk» og mer tradisjonelt menneskeskapt materiale.^{(13)Fortalepunkt 133.} Som nevnt er det også viktig å bevare informasjonens troverdighet og begrense negative konsekvenser av kunstig intelligens.

I den sammenhengen identifiserer betraktningen også et behov for nye metoder og teknikker for å spore informasjonens opprinnelse. Samlet sett sier betraktningen deretter at:

det er passende å kreve at leverandører av disse systemene bygger inn tekniske løsninger som muliggjør merking i et maskinlesbart format og deteksjon av at output er generert eller manipulert av et AI-system og ikke et menneske.

Dette siste utdraget fra betraktning 133 bringer oss til det første viktige spørsmålet angående merkingsplikten. Ved første øyekast kan art. 50(2) i AI Act tolkes som om den krever at leverandører av syntetisk innholdsgenererende KI-systemer sørger for at output fra deres AI-systemer er merket i et maskinlesbart format med det formål å legge til rette for deteksjon av innholdet som kunstig generert eller manipulert. Med andre ord, art. 50(2) pålegger en merkingsplikt som forfølger målet om å muliggjøre skillet mellom menneskeskapt og AI-generert innhold.

5.2 Er det også en plikt til å utforme løsninger for deteksjon av syntetisk innhold?

Merkeplikten er beskrevet i fortalepunkt 133 til AI Act, og påpeker at leverandørene av relevante systemer bør «bygge inn tekniske løsninger som gjør det mulig å merke utdataene i et maskinlesbart format med at de er generert eller manipulert av et KI-system og ikke et menneske, og å påvise at de er det.» (vår uthevning). Dette kommer tydeligere frem i den engelske språkdrakten, som nevner at «it is appropriate to require providers of those systems to embed technical solutions that enable marking in a machine readable format and detection that the output has been generated or manipulated by an AI system and not a human.»

Retningslinjene for AI Act går langt i å tilby en løsning for dette spørsmålet. Retningslinjene fastslår at art. 50(2) oppstiller to separate, men iboende sammenkoblede forpliktelser: For det første skal leverandøren sikre at utdataene er merket i maskinlesbart format. For det andre skal leverandøren sikre at utdataene er detekterbare som kunstig generert eller manipulert. Begge elementene må oppfylles for å oppnå formålet med åpenhetsforpliktelsene – det er ikke tilstrekkelig å kun oppfylle det ene elementet (f.eks. maskinlesbar merking uten å sikre detekterbarhet). Leverandøren er dermed forpliktet til å gjøre deteksjonsverktøy tilgjengelig for personer som eksponeres for innholdet, og deteksjonsverktøyet må kunne gi menneskelesbare resultater om hvorvidt innholdet er KI-generert eller manipulert, jf. art. 50(5).

Også utkastene til reglene for god praksis går imidlertid langt i å uttrykke at leverandørene bør sørge for at det finnes et offentlig tilgjengelig deteksjonsverktøy for innholdet som genereres eller manipuleres av deres KI-systemer.^{(14)Reglene for god praksis (2026) s. 14.}

Etter vårt skjønn er det noe mer uklart hvorvidt det foreligger en plikt til å tilby deteksjonsverktøy – og i så fall hvor langt den går.

6.1 Generelt om plikten

Det fremkommer ikke av artikkel 50(2) hvordan merkeplikten skal operasjonaliseres i praksis. Fortalepunkt 133 påpeker at: «Slike teknikker og metoder bør være så pålitelige, samvirkende, effektive og robuste som teknisk mulig, tatt i betraktning de tilgjengelige teknikkene eller en kombinasjon av slike teknikker».

Retningslinjene presiserer at den tekniske løsningen må oppfylle fire kvalitetskrav;

1. effektivitet, som innebærer at den tekniske løsningen må kunne detektere merkingen og gjøre det mulig å skille KI-generert innhold fra annet innhold,

2. pålitelighet, som sikter til den tekniske løsningens evne til å nøyaktig identifisere KI-generert innhold under normale forhold,

3. robusthet, som innebærer at den tekniske løsningen må opprettholde ytelsen under varierende forhold, inkludert vanlige endringer og forsøk på omgåelse, og

4. interoperabilitet, som krever at ulike tekniske løsninger kan fungere smidig på tvers av systemer, aktører og tekniske implementeringer.

En rekke ulike teknikker eller metoder som kan brukes er nevnt, bl.a. «vannmerker, identifikasjon av metadata, kryptografiske metoder for å bevise innholdets opprinnelse og ekthet, loggingsmetoder, fingeravtrykk eller andre teknikker».^{(15)Fortalepunkt 133.} Kvalitetskravene er utdypet i utkastene til regler for god praksis.^{(16)Regler for god praksis (2026) s. 16-20.}

Det er uklart hvorfor akkurat de bestemte teknikkene er nevnt, siden det er diskutabelt om teknikkene som er nevnt er egnet til å oppnå bestemmelsens formålet. Slike teknikker brukes vanligvis i mindre grad for å tydeliggjøre skillet mellom kunstig og menneskelig innhold. Normalt brukes de heller for innholdsautentisering eller markere opprinnelse, forebygging av spredning av feilinformasjon, eller for å uttrykke forfatterskap og opphavsrettsbeskyttelse.^{(17)Gils (2024) s. 793.}

Trolig bør leverandøren ta hensyn til at fortalepunkt 133 åpner for forskjellige teknikker, «alt etter hva som er hensiktsmessig», noe som kan indikere at man bør se hva som kan oppnå formålet med merkingen. Dynamikken tydeliggjøres også ved at det er nevnt at:^{(18)Fortalepunkt 133.}

Utkast til reglene for god praksis går for øvrig langt i å uttrykke at ulike aktører må beholde og avstå fra å endre eller fjerne eksisterende metadata for å merke KI-innhold. Leverandørene skal inkludere et forbud i sine vilkår mot forsettlig fjerning av eller manipulering av merkene – med mindre fjerningen utføres for å teste sikkerheten til en merkeløsning.^{(19)Reglene for god praksis (2026) s. 12.}

Det er trolig et betydelig handlingsrom, og valget vil nok mer unntaksvis bli overprøvd av tilsynsmyndighetene. Retningslinjene presiserer imidlertid at det etter gjeldende state-of-the-art ikke finnes én enkelt teknikk for merking og deteksjon som oppfyller alle fire kvalitetskravene samtidig. Det kreves derfor normalt en kombinasjon av ulike merkingsteknikker for å oppfylle forpliktelsen. Også utkast til reglene for god praksis påpeker at det bør benyttes en «flerlags merkemetode» for å sikre at innhold fra deres generative KI-systemer er merket med minst to lag med maskinlesbar aktiv merking.^{(20)Reglene for god praksis (2026) s. 10.} Leverandører kan i fremtiden eventuelt demonstrere etterlevelse gjennom én enkelt teknikk dersom de kan påvise at den oppfyller alle fire kvalitetskravene, men dette vil kreve videre teknologisk utvikling.

6.2 Må merkingen kunne oppdages/sees av mennesker?

Utdata skal være «merket i et maskinlesbart format og identifiserbare som kunstig generert eller manipulert». Ettersom enkelte av teknikkene som er oppført i fortalepunkt 133 bare er mulig å avlese/observere gjennom maskinlesing, kan dette oppfattes som at det ikke er et krav at mennesker skal kunne oppdage merkingen gjennom bruk av egne sanser og uten tekniske hjelpemidler. Plikten vil uansett ikke utelukke at det brukes synlige, «menneskerettede» merketiltak som også kan være maskinlesbare.^{(21)Gils (2024) s. 794.} Retningslinjene underbygger at merkeplikten i art. 50(2) er begrenset til maskinlesbar merking. Menneskelesbar informasjon oppnås derimot via deteksjonsverktøyet: Art. 50(5) krever at informasjonen meddeles berørte fysiske personer «på en klar og tydelig måte», og det er resultatet fra deteksjonsverktøyet som gir denne informasjonen til brukerne.

Det må imidlertid tas i betrakning at arty. 50(5) bestemmer at informasjonen nevnt i art. 50(2) «skal meddeles de berørte fysiske personene på en klar og tydelig måte senest på tidspunktet for den første samhandlingen eller eksponeringen.» Informasjonen må dessuten «være i samsvar med de gjeldende tilgjengelighetskravene».

7.1 Innledning

Det følger av art. 50(2) i.f. at plikten til merking «skal ikke gjelde i den grad KI-systemene utfører en hjelpefunksjon for standardredigering eller ikke i vesentlig grad endrer inndataene fra idriftsetteren eller semantikken i disse, eller dersom de er godkjent ved lov til å brukes for å avsløre, forebygge, etterforske eller straffeforfølge straffbare forhold.»

Begrunnelsen for unntakene, er plikten «skal være forholdsmessig», jf. fortalepunkt 133. Vi oppfatter at dette samsvarer med den risikobaserte tilnærmingen i AI Act, som skal håndtere de mest skadelige systemene.

7.2 Unntak for hjelpefunksjoner

Merkeplikten gjelder ikke KI-systemer som «utfører en hjelpefunksjon for standardredigering eller ikke i vesentlig grad endrer inndataene fra idriftsetteren eller semantikken i disse». Det kan synes som om dette er to unntak, men det er vanlig å oppfatte det som ett felles «hjelpefunksjonsunntak».

Det er ikke spesifisert hvilken type eksisterende AI-verktøy som faller inn under dette unntaket. Trolig bør det forstås i forlengelsen av at pliktens formål om å hindre forveksling av innhold og ivareta informasjonens troverdighet.

Umiddelbart vil man se for seg at det er stave- og grammatikkverktøy som omfattes. Ordlyden åpner imidlertid for at det også vil omfatte «standardredigering» av andre typer innhold, f.eks. bilde eller video.^{(22)Se også støtte for en slik konklusjon i Nicolaj Feltes, «Article 50 AI Act: Do the Transparency Provisions Improve Upon the Commission’s Draft?», 16 (2025) JIPITEC, s. 222-237, på side 228-229.}

Retningslinjene gir nå konkrete eksempler på hva som anses som standardredigering og dermed er unntatt fra merkeplikten. Dette omfatter blant annet grammatikk- og stavekontroll, formatkonverteringer, teknisk komprimering, støyreduksjon, mindre beskjæring, mindre farge- og lysjusteringer, fjerning av støvflekker fra linse, fjerning av røde øyne fra blitz, rotering av bilder, videoskalering, begrenset videostabilisering og mindre justeringer av avspillingshastighet. Også KI-generert innhold som kun transformerer autentisk menneskelig input gjennom hjelpemiddelteknologi for personer med nedsatt funksjonsevne (f.eks. AAC eller tilpassede nevrale stemmer) faller inn under unntaket.

På den annen side gir retningslinjene også eksempler på semantiske endringer som krever merking. Dette omfatter blant annet KI-genererte oversettelser og sammendrag av tekst, tilføying av objekter eller informasjon som ikke var til stede i originalbildet eller -videoen, sletting eller tilsløring av bakgrunner eller objekter, pikselering eller uskarphet av ansikter, endring av en persons kroppsfasong eller hudfarge, ekstreme lys-, farge- og kontrastjusteringer (f.eks. å gjøre en grå himmel blå), konvertering fra svart-hvitt til fargebilde, samt opprettelse av sammensatte bilder eller videoklipp.

7.2 Unntak for rettshåndhevelsesformål

Også KI-systemer som «er godkjent ved lov til å brukes for å avsløre, forebygge, etterforske eller straffeforfølge straffbare forhold», er unntatt fra merkeplikten.

Det kreves ikke at et KI-system som brukes for rettshåndhevelsesformål er beregnet eller utformet eksklusivt for slike formål, og det er tilstrekkelig at det er godkjent ved lov for å kunne brukes for slike formål.^{(23)Gils (2024) s. 790.}